Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition
AI智能体能否登顶？长程游戏竞赛中的对抗式启发式学习评估
🧭 Agent 在对抗游戏中的长周期自我改进
Department of Computer Science and Technology, Tsinghua University · College of AI, Tsinghua University
提出 AHL 范式与 AAArena 基准，评估 LLM 智能体在 12 个对抗游戏中通过选对手、分析回放和改策略爬升排名
📌 工作参考价值（4 点）
- 可借鉴 AHL 的“固定模型权重、让 LLM 作为教练从对局/日志回放中提取规则并修改策略代码”的闭环；在推荐/广告场景可让 LLM 定期分析线上 bad case sessions，产出可解释规则或轻量策略补丁，而不直接改动模型，降低上线风险。
- 论文发现 opponent selection 支持策略提升；对应推荐里困难样本/对抗样本挖取，让 agent 优先复盘高价值失败流量（如高竞价失败、低转化但高曝光），提升迭代效率。
- dense feedback 支持改进；在设计 RLHF/策略迭代时，除了最终指标（GMV/CTR），给 agent 中间步骤奖励或分阶段反馈，避免长程稀疏奖励导致学习困难。
- on/off-policy 回放都有效：线上策略迭代可以同时利用自己的日志（on-policy）和竞品/他组日志（off-policy）做分析，尤其冷启动期可借其他方案数据。